Sau Thế chiến thứ nhất, cơ quan lãnh đạo quân sự của thế chế Cộng hòa Weimar là Bộ Phòng vệ Đế chế (Reichswehrministerium - RWM), thay thế cho các bộ chiến tranh riêng rẽ của Phổ, Bayern, Sachsen và Württemberg. Ngoài ra, quyền chỉ huy tác chiến thuộc về các chỉ huy trưởng của Bộ chỉ huy Lục quân (Heeresleitung) hoặc Bộ chỉ huy Hải quân (Marineleitung). Bộ Tổng tham mưu Đế chế bị giải thể, thay vào đó, một cơ quan "hiền lành" hơn được tạo ra để đảm nhận chức năng tham mưu, gọi là Văn phòng Quân đội (Truppenamt).

OKW thành lập ngày 4 tháng 2 năm 1938 sau sự kiện Blomberg-Fritsch. Thống chế Werner von Blomberg bị tước quyền và Bộ chiến tranh Đế quốc Đức bị hủy bỏ. OKW thay thế Bộ chiến tranh. Sự thành lập OKW được xem như một trong những mưu tính của Adolf Hitler trong kế hoạch tạo dựng vây cánh và bành trướng quyền lực của mình. Hitler lên chức Quốc trưởng (Führer) và đảm nhận luôn chức Thủ tướng Đế chế (Reich Chancellor), kiêm nhiệm chức vụ Tổng tư lệnh Tối cao (Oberbefehlshaber) của Wehrmacht.